IMDB Dataset

import pandas as pd
import matplotlib
import matplotlib.pyplot as plt
import seaborn as sns
import math
matplotlib.style.use("ggplot")
%matplotlib inline
plt.rcParams['figure.figsize']=(16,10)

Pour cette étude j’ai utilisé les données provenant de la plateforme de notation IMDB qui regroupe une large communauté notant les films et les séries

movies = pd.read_csv("./data/movie_metadata.csv")
movies.head()

Dans un premier temps on peut commencer par faire un rapide descriptif des données fournies

movies.shape, movies.dropna(axis=0).shape

((5043, 28), (3756, 28))

movies.columns

Index(['color', 'director_name', 'num_critic_for_reviews', 'duration',
       'director_facebook_likes', 'actor_3_facebook_likes', 'actor_2_name',
       'actor_1_facebook_likes', 'gross', 'genres', 'actor_1_name',
       'movie_title', 'num_voted_users', 'cast_total_facebook_likes',
       'actor_3_name', 'facenumber_in_poster', 'plot_keywords',
       'movie_imdb_link', 'num_user_for_reviews', 'language', 'country',
       'content_rating', 'budget', 'title_year', 'actor_2_facebook_likes',
       'imdb_score', 'aspect_ratio', 'movie_facebook_likes'],
      dtype='object')

On ne garde, pour l’instant, que les lignes étant totalement fournies. On verra dans un deuxième temps comment remplir ces données manquantes.

Faisons quelques graphiques pour représenter ces données qui ne sont pas très parlantes pour l’instant. Pour cela on peut utiliser matplotlib, la librairie de référence pour les graphiques en python, mais j’aime bien utiliser seaborn qui permet très facilement de réaliser des graphiques assez attractifs.

Concentrons nous sur les notes attribuées par la plateforme.

fig, ax = plt.subplots()
movies.imdb_score.hist(bins=20, ax=ax)
ax.axvline(movies.imdb_score.mean())

<matplotlib.lines.Line2D at 0x18eef8cfcf8>

movies.imdb_score.mean()

6.442137616498111

On peut se poser la question de quelle serait l’année ayant fournie les meilleurs films. Pour cela on peut afficher la moyenne des notes en fonctions des années de sortie des films.

df_mean_by_year = movies.groupby("title_year", as_index=False).agg("mean")
sns.lmplot(x="title_year", y="imdb_score", data=df_mean_by_year)

<seaborn.axisgrid.FacetGrid at 0x18eef8d5978>

On voit très clairement un net dégradations des notes en fonctions des années.

movies["count"] = 1
movies.groupby("title_year").agg({"count":"count"}).plot()

<matplotlib.axes._subplots.AxesSubplot at 0x18eec199b38>

Mais le nombre de film à lui aussi très largement augmenté.

df_max_by_year = movies.groupby("title_year", as_index=False).agg("max")
sns.lmplot(x="title_year", y="imdb_score", data=df_max_by_year);

Mais les notes maximum attribuées sont légerement en hause. Mais quels sont les films les mieux notés de ces 100 dernières années ?

movies[~movies["director_name"].isnull()].sort_values("imdb_score", ascending=False).head(10)[["director_name", "movie_title", "imdb_score"]]

Quels genres préfèrent t’on ?

ax = sns.violinplot(x="genres", y="imdb_score",
        data=movies, palette="Set2", split=True,order= list(movies.genres.value_counts().head(10).index),
        scale="area", inner="quartile")

movies.groupby("genres").agg({"imdb_score":"mean","count":"count"}).sort_values("imdb_score", ascending=False).head(5)

Comment prédire le score IMDB

On voit assez bien que les notes sont plutot au dessus de la moyenne. On peut maintenant essayer de voir si on peut trouver une corrélation entre le nombre de like de chaque acteur et la note attribuée.

sns.jointplot(x="cast_total_facebook_likes", y="imdb_score", data=movies);

On voit ici que les données sont très écrasées autours de 0. On voit quelques points qu’on peut nommés d’outliers ce qui veut dire qu’ils sont vraiment éloignés de la plupart des autres points de l’échantillions.
Pour cela nous avons plusieurs solutions, les plus faciles à mettre en oeuvre sont de les enlever tout simplement ou d’appliquer un logarithme sur la variable en question. On sait par contre que le log n’est défini que sur ]0;+inf[ il faut prendre en compte cela dans sa mise en place.

movies["cast_total_facebook_likes_log"] = movies["cast_total_facebook_likes"].apply(lambda x : math.log(x) if x!=0 else x)

Si on réaplique le log sur cette nouvelle variable créée

sns.jointplot(x="cast_total_facebook_likes_log", y="imdb_score", data=movies);

On voit que le nuage de point, ainsi que l’histograme ne sont plus écrasés en 0 mais nous ne pouvons malheuresement pas tiré de conclusions sur la création du score en fonction du nombre de likes de l’équipe du tournage.